#confidence calibration

8 篇

Who Is Sycophantic to Whom? Confident LLMs, Human Deference, and the Collapse of Trust Calibration

谁在谄媚谁？自信 LLM、人类顺从与信任校准崩溃

🧭 人机交互 · 信任校准与反向谄媚评估

Amrita Vishwa Vidyapeetham · Netaji Subhas University of Technology · Indian Institute of Science (IISc)

当 LLM 自信且一致地犯错后，人类会反向顺从：虚假事实被采纳约65%，置信校准从0.70降至随机

📌 工作参考价值（4 点）

电商导购/客服 Agent 不能只评估模型是否迎合用户；应同步统计用户是否反向顺从错误答案。可仿照 Human Deference Index，在会话日志中标记用户是否采纳 LLM 输出的商品属性、政策解释或推荐理由，并与真实值比对，重点关注错误采纳率。
RAG / 商品事实问答中，仅靠 LLM 自信表达无法阻止错误被吸收，且用户事后信任几乎不下降。应把“高置信但无依据”的内容做逐条可信度标注、来源展示或要求用户确认，不能寄希望于用户自行校准。
搜索推荐 Agent 生成的候选 query、推荐理由或商品描述，避免所有输出都用肯定语气。对低可靠性字段加不确定性提示、可核验来源或二次确认，尤其要防止高置信错误被直接采纳。
用户回看/互动多不等于系统更可靠：本实验中更差的助手反而导致更多回看，但回看伴随更多错误吸收。工程上不要把 session 回看次数当作质量正向指标，应结合正确性结果或任务完成度。

LLM | 2026-10-22 | cs.AI | score 6/10

MARGIN: Runtime Confidence Calibration for Multi-Agent Foundation Model Coordination

MARGIN：多Agent基础模型协调的运行时置信度校准

🧭 多Agent置信度在线校准

Ericsson

提出 MARGIN，通过运行时增量归一化按置信度分段学习模型特定校准，无需重训或留出校准集，提升多Agent决策准确率

📌 工作参考价值（4 点）

多模型投票/加权融合场景（如多个LLM生成推荐理由、多路召回结果合并）可用 MARGIN 的思路：按置信度分桶跟踪近期准确率与声称置信度的比值，用比值修正该桶的置信度，稀疏桶向模型级估计收缩，避免单个桶样本过少导致校准不稳定。
适用于需要在线适应 workload 变化的系统：无需重训模型或留出固定校准集，只需在每次获得正确性反馈后更新对应置信度桶的统计量，适合电商/广告中持续流入标注数据的场景。
工程实现上，可维护滑动窗口或指数衰减的准确率/置信度比率，对每个 responder 分别维护，用校正后的分数作为加权依据；冷启动时使用模型级估计作为先验，逐步过渡到分桶校准。
注意前提：必须能获得候选答案的正确性反馈（如用户点击、转化作为隐式反馈），否则该方法不可直接用；对于无反馈的推荐排序阶段，可考虑用代理指标替代。

MultiAgent | 2026-10-07 | HF Daily | score 7/10

confidence calibration multi-agent systems foundation models online learning distribution shift

When Linguistic and Internal Confidence Diverge in Large Language Models

大语言模型中语言置信度与内部置信度的分歧

🧭 LLM 置信度评估与校准

Dartmouth College · Oakland University

系统评估 30 个 LLM 的语言置信度与内部置信度在分类/生成任务上的关联、量级和校准分歧

📌 工作参考价值（4 点）

在电商/Agent 流程中若使用 LLM 自报置信度做拒答、路由或加权，不要默认其与内部概率一致；先做多轴诊断：实例级 Spearman/关联、平均置信度差异、ECE/校准曲线。尤其指令调优模型可能高报置信度且校准更差。
如果只能拿到语言置信度，优先用“分数示例”prompt 且避免置信度值塌缩（如全 5 分或全高），这样能保留一定 rank-order 信息用于排序/过滤；纯态度引导（“请更谨慎”）只会抬高/降低数值，不改善与真实质量的 alignment。
在生成式推荐或文案生成场景，可以用 semantic entropy 或多次采样一致性作为内部不确定性替代语言置信度；若不能用 logits，可让模型输出 1-5 分而非自然语言模糊词，并做分布检查。
工程上按 task difficulty/基座能力分层：简单样本或强 base 模型的置信度更有参考价值；复杂长尾商品/query 不要依赖语言置信度做硬过滤。

Eval | 2026-08-28 | cs.CL | score 7/10

LLM confidence calibration uncertainty estimation verbalized confidence logits selective prediction

Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity

你确定吗？指令微调对置信度和词汇多样性的影响

🧭 指令微调改变置信度与 rationale 多样性

Cohere Labs Community · Laboratoire Hubert Curien, UMR CNRS 5516, Saint-Étienne, France · School of Computer Science Engineering and Technology (SCSET), Bennett University, Greater Noida, India · School of Physical Therapy, Faculty of Health Sciences, Western University, London, Canada

在问答基准上评估匹配基座与指令微调模型，发现指令微调一致改变置信度但非均匀改变 rationale 词汇多样性

📌 工作参考价值（4 点）

在电商/推荐场景用 LLM 生成推荐理由或解释时，指令微调后的模型 verbalized confidence 可能系统性偏高，与真实准确率脱钩；上线前需要额外做 confidence calibration，不要直接采信模型自述置信度。
若用 LLM 批量生成商品卖点、用户 push 文案，需监控跨样本 rationale 多样性：指令微调可能使生成内容趋于同质化，建议引入多样性约束或后处理去重。
将 surface-level 词汇多样性（如 Unique-2）作为生成多样性监控指标时，注意它可能与语义多样性（cross-rationale diversity）不同向变化；最好同时监控两类指标，避免误判。
在 Agent 链路中让 LLM 输出思考过程或理由时，指令微调带来的置信度变化可能影响下游决策；可在 prompt 中要求模型更客观地报告不确定性，或使用 logit-based 校准替代 verbalized confidence。

Eval | 2026-08-12 | HF Daily | score 6/10

instruction tuning confidence calibration lexical diversity question answering LLM evaluation

Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation

小视觉语言模型知道错了但说不出来：真实图像退化下的内部与口头置信度对比

🧭 小模型自我认知与置信度评估

Independent Researcher

小VLM的口头置信度近乎恒定且无法检测错误，但内部token概率却能有效分离正确与错误答案

📌 工作参考价值（4 点）

用内部 token 概率做 deferral 信号：当小 VLM 用于商品图片理解、图像文本审核等任务时，直接解析模型输出的口头置信度（如"我确定答案是..."）并不可靠，应改用生成序列的平均 token 概率作为置信度指标，尤其在模型需要自动放弃回答的场景。
低质量图像输入要双重预警：在用户上传图片可能严重欠曝/模糊的实际业务中（如直播间截图、用户随手拍），内部概率的 error detection AUROC 会骤降到随机水平，此时应结合图像质量评估模块，严重退化时直接拒绝模型输出，不再依赖任何置信度。
小模型的 uncertainty 并不体现在口语化表达里：Qwen2-VL-2B 的口头置信度均值稳定在 0.87-0.90，几乎不随输入质量或答案正确性变化，说明对小模型做 prompt engineering 让其自我评估准确性几乎是无效的，必须依赖 hidden state 或 token 概率等信息。
SmolVLM 的口头置信度解析成本高到不可用，尝试三种 prompt 模板只有一次成功解析出置信度值，这提醒我们在工程化时，若模型输出格式不可控，则结构化置信度输出方案需要更严格的约束（如强制 JSON 格式），否则直接使用内部概率是更稳定的选择。

Eval | 2026-07-24 | cs.CL | score 6/10

VLM confidence calibration uncertainty estimation token probability image degradation error detection

Post-Training Shifts Confidence: A Three-Stage Analysis of How SFT, RL, and OPD Shape Pre-, Intra-, and Post-CoT Calibration

训练后方法如何影响推理置信度：SFT、RL、OPD三阶段校准分析

🧭 LLM推理校准与后训练方法相互作用

Eastern Institute of Technology, Ningbo · The Hong Kong Polytechnic University

揭示SFT、RL、OPD在推理前/中/后校准特性迥异，并提出位置感知置信度PosConf大幅提升聚合与早停性能。

📌 工作参考价值（4 点）

多路径推理置信度投票：在Agent或RAG系统生成多个推理路径时，可借鉴RL模型的trace-level置信度进行加权投票，并仅在“路径承诺”后的可靠位置提取置信度，避免前期噪声，提升最终答案聚合准确率。
推理早停控制：对强延迟约束的在线推荐场景，可利用SFT模型的在线置信度信号做early stopping，动态终止低可能性生成，节省token消耗；OPD模型的早期置信度可用于难度预估，直接放弃高难度请求，进一步降低成本。
位置感知置信度使用：通用原则——不从推理全程提取置信度，而是针对不同训练策略识别可靠区间（如OPD仅用前段，RL用后段），可提升置信度的校准性和决策有效性，适用于生成式推荐的理由生成、对话Agent的多轮规划等。
后训练方式选择依据：若业务侧重推理前难度预估（如请求过滤），优先OPD；若需在线中断低质生成，优先SFT；若需高可靠的多路聚合，优先RL。

LLM | 2026-07-15 | cs.CL | score 7/10

confidence calibration chain-of-thought reinforcement learning supervised fine-tuning on-policy distillation position-aware confidence

Two Axes of LLM Abstention: Answer Correctness and Question Answerability

LLM拒答的双轴分解：答案正确性与问题可回答性

🧭 LLM选择性回答的双轴风险控制

City St George’s, University of London

揭示LLM拒答中答案正确性和问题可回答性是两个独立维度，提出用隐藏探针和双阈值策略分别控制风险

📌 工作参考价值（4 点）

在拒答模块中分离“答案正确性”与“问题可回答性”两个信号，而非共享单一置信度；可对隐藏状态训练线性探针检测不可回答问题（AUROC>0.69），作为路由组件前置过滤不应答查询。
避免直接使用LLM自我前提检查，其错误挑战率高达57%；改用探针先筛选可疑问题再执行检查，可三倍提升挑战精度，适合电商Agent中拒答虚假前提提问（如“这款已下架商品为何涨价？”）。
采用双阈值校准框架：为错误回答率和不可回答回答率设定独立预算，在独立验证集上计算二项式界获得统计保障，满足业务风险可控要求（如信贷推荐咨询的准确性和合规拒答）。
模型内部可回答性表示随规模稳定，但输出置信度不反映，因此不必依赖模型自评；可将探针部署为轻量级可插拔组件，适配多模型。

LLM | 2026-07-09 | cs.CL | score 7/10

abstention answerability hidden state probes confidence calibration risk control

Reflective Prompt Tuning through Language Model Function-Calling

通过语言模型函数调用的反思式提示调优

🧭 提示优化 · 反思式优化 · 函数调用 ★ 深度解读

Megagon Labs

用LLM函数调用模拟人类提示工程师的迭代诊断-修订流程，结合结构化反馈与记忆机制提升提示性能与校准

📌 工作参考价值（4 点）

诊断-聚类-修订的迭代提示优化：可迁移到电商推荐/Agent系统中的LLM提示词优化，通过函数调用自动收集失败样本、聚类失败模式并生成针对性修订，实现Prompt的自我演进。
置信度校准融入优化目标：将Brier Score等校准指标纳入优化反馈与最终提示选择，有助于在电商风险评估、Agent主动退避（abstention）等场景中提升模型自报置信度的可靠性。
利用LLM函数调用能力解耦评估与修改：将“跑prompt→收集行为→聚类错误→生成报告”封装为可调用的诊断函数，让优化器专注决策，工程上可实现模块化、可追溯的自动提示调优流程。
历史记忆机制避免无效反复：积累历史诊断报告与修订记录，帮助优化器识别顽固错误、避免重复编辑，适用于长周期、多轮次的提示优化任务，如推荐系统召回策略的指令迭代。

LLM | 2026-05-19 | HF Daily | score 8/10

prompt optimization function calling reflective tuning memory confidence calibration